π*0.6:从经验中学习的 VLA
论文/博客:π*0.6: a VLA that Learns from Experience(Physical Intelligence,2025)。名字里的星号代表强化学习。π*0.6 的贡献不在架构,而在训练范式:RECAP(Reinforcement learning with Experience and Corrections via Advantage-conditioned Policies),让机器人在真实环境里通过实际失败和人工纠正持续改进,把制作浓缩咖啡的成功率推到 90% 以上,支持多小时不间断部署。
注:Physical Intelligence 在本文之后又发布了 π0.7(2026 年 4 月),引入了可引导控制和跨体型迁移能力,是目前他们最新的模型。
1. 为什么纯模仿学习有天花板
π0 和 π0.5 都是模仿学习:从人类示范中学。这条路有明确的上限——模型只能和示范一样好。真实部署中的失败模式往往是示范数据里没有的:机械臂轻微偏转、物体滑动、未知光照角度。
直觉上 RL 是解法,但 RL 在精细操作上出了名地难训:
- 稀疏奖励(成功/失败)在 50 步操作任务里信用分配太难
- 真实机器人样本昂贵,安全约束多
- 如果用次优数据,off-policy 更新不稳定
RECAP 的判断是:不过滤数据,给所有数据加优势标注,让策略自己学会区分好坏动作。
2. 骨干架构(5B 参数)
π*0.6 的基础模型是 π0.6——在 π0.5 基础上略 微放大到约 5B 参数,结构族相同(VLM 主干 + 流匹配动作专家)。关键扩展是支持异构提示类型:文本指令、质量标注、优势分数——这是 RECAP 训练的前提。
3. RECAP 算法
RECAP 混合三种学习信号:
| 信号类型 | 来源 |
|---|---|
| 示范 | 人类遥操作轨迹,离线模仿预训练 |
| 纠正 | 真实机器人 rollout 时的人工干预,针对实际失败分布 |
| 自主 RL | 机器人自主运行 + 奖励/价值信号 |
三阶段训练:
- 离线 RL 预训练:在示范 + 纠正数据上,带优势标注训练
- 任务 SFT:在目标部署任务上监督微调
- 在线 RL:真实机器人 rollout + 额外纠正 + 价值函数更新
价值函数与优势条件
RECAP 的技术选择:不过滤轨迹,改为训练一个价值函数预测任务完成概率(操作上用负的"剩余步数"表示)。优势定义为每步价值的变化量,反映这一步对完成任务的贡献。
- 所有数据都保留,次优轨迹同样参与训练
- 策略以优势值作为输入 token 进行条件化
- 推断时:模型被提示执行高优势动作
- 奖励是密集的(每步完成概率变化),避免长程任务稀疏奖励的信用分配问题
纠正数据在这 里比较关键:在真实失败分布上采集的人工干预,而非精心设计的模拟失败场景。真实失败的分布和精心设计的完全不同,这直接决定了鲁棒性上限。
4. 实验结果
| 任务 | vs π0.6(纯监督学习基线) |
|---|---|
| 制作浓缩咖啡 | 吞吐量 >2×;成功率 >90% |
| 叠衣服 | 吞吐量大幅提升;泛化到 50 件新衣物 |
| 装配箱子 | 吞吐量显著;边角情况处理鲁棒 |
实际部署:系统支持多小时不间断运行,这是之前 VLA 没有达到的水平。
叠衣服泛化到 50 件新衣物这个数字值得注意——说明 RECAP 不只是在特定任务上过拟合,而是把任务相关的鲁棒性真正学进去了。
5. 与纯模仿学习的关键差异
| 维度 | 纯监督学习(π0/π0.5) | RECAP(π*0.6) |
|---|---|---|
| 数据利用 | 仅使用高质量示范 | 所有数据,带优势标注 |
| 失败恢复 | 依赖示范覆盖 | 从真实失败中纠正 |
| 奖励信号 | 无 | 密集(每步完成概率变化) |
| 上限 | 示范质量 | 超越示范,接近最优 |
| 训练代价 | 仅数据采集 | 额外需要真实机器人 rollout |
6. 局限
RECAP 需要真实机器人 rollout 和人工纠正,这意味着在线训练阶段的硬件成本和人工时间成本不低。价值函数的准确性直接影响优势标注质量,当前没有公开讨论价值函数训练稳定性的细节。
π0.7(2026 年 4 月)在此基础上进一步引入了可引导控制(steerable control)和跨体型迁移,代表 Physical Intelligence 目前最先进的能力边界。